เขาแต่งงานครั้งแรกกับ ซูซาน แบร์แรนเตส เมื่อวันที่ 17 มกราคม 2499 มีบุตรสาว 2 คนคือ

1. เจนิเฟอร์ เฟอร์กูสัน
2. ซาราห์ ดัชเชสแห่งยอร์ก

พวกเขาหย่าร้างกันในปี พ.ศ. 2517 และในปี 2519 เขาแต่งงานใหม่กับ ซูซาน ดริฟฟอร์ด มีบุตร-ธิดาดังนี้

1. แอนดรูว์ เฟอร์กูสัน
2. อลิซ เฟอร์กูสัน
3. อิลซา เฟอร์กูสัน

ความสัมพันธ์กับราชวงศ์อังกฤษ

ด้วยความที่มารดาของเขานั้นเป็นพระญาติใน เจ้าหญิงอลิซ ดัชเชสแห่งกลอสเตอร์ ทำให้เขาได้มีโอกาสพบปะ และได้เข้าเฝ้า พระราชวงศ์อังกฤษอยู่หลายครั้ง และนั้นทำให้ ซาราห์ เฟรอร์กูสัน บุตรสาวคนรองของเขาได้พบกับ เจ้าชายแอนดรูว์ ดยุกแห่งยอร์ก ในปี 2522 เขาได้มีโอกาสร่วมแข่งขันฟุตบอล อังกฤษคัพ โดยมี เจ้าชายชาลส์ เจ้าชายแห่งเวลส์ ร่วมเตะบอลด้วย โดยภายหลังจากที่ลูกสาวของเขาได้เสกสมรสกับ เจ้าชายแอนดรูว์นั้น ทำให้ความสัมพันธ์ของเขากับพระราชวงศ์แน่นแฟ้นมากขึ้น ว่ากันว่า เจ้าชายแอนดรูว์ ทรงพระกรุณาโปรดเกล้าให้เขาและครอบครัว เข้าออกวังได้ เขากลายเป็นพระสัสสุระในพระราชโอรสของ สมเด็จพระราชินีนาถเอลิซาเบธที่ 2 แห่งสหราชอาณาจักร เขากลายเป็นประธานสมาคมฟุตบอลอังกฤษคัพ ซึ่งไม่นานหลังจากนั้นเขาก็เสียชีวิตลง เมื่อวันที่ 16 มีนาคม 2546 สิริอายุ 71 ปี ซึ่งเขาป่วยหลายโรค อาทิมะเร็งต่อมลูกหมาก มะเร็งผิวหนัง โรคหัวใจ โดยในงานศพของเขานั้น เจ้าชายชาลส์ เจ้าชายแห่งเวลส์ เสด็จพระราชดำเนินพร้อมด้วย เจ้าชายแอนดรูว์ ดยุกแห่งยอร์ก มาร่วมในงานศพของเขา ในนิวแฮมป์เชียร์